Bayesian Optimization（Bo）是全球优化昂贵的客观功能的框架。古典BO方法假设客观函数是一个黑匣子。但是，有关客观函数计算的内部信息通常可用。例如，在使用模拟优化制造行的吞吐量时，除了整体吞吐量之外，我们还会观察每个工作站等待等待的部件数。最近的BO方法利用此类内部信息显着提高性能。我们称之为这些“灰盒”BO方法，因为它们将客观计算视为部分可观察且甚至可修改，将黑盒方法与所谓的“白盒”的第一原理进行客观函数计算的知识。本教程描述了这些方法，专注于复合物镜功能的博，其中可以观察和选择性地评估饲喂整体目标的单个成分;和多保真博，其中一个人可以通过改变评估oracle的参数来评估目标函数的更便宜的近似。
translated by 谷歌翻译
我们考虑贝叶斯型优化函数网络的输出，其中每个功能都将其作为输入其父节点的输出，并且网络在其位置需要评估。例如，在强化学习，工程设计和制造中出现了这些问题。虽然标准贝叶斯优化方法只观察到最终输出，但我们的方法通过利用前者忽略的信息来提供更大的查询效率：网络内中间输出。这是通过使用高斯过程建模网络的节点来实现的实现，并选择要使用的点作为我们的采集功能来评估点，所以在物镜上的隐含后续计算的预期改进。尽管这种后部的非高斯性质阻止了以封闭形式计算我们的采集功能，但我们表明它可以通过样本平均近似有效地最大化。此外，我们证明我们的方法是渐近的，这意味着它发现全球最佳解决方案随着评估的数量增长到无穷大，因此概括了预期改进的先前已知的收敛结果。值得注意的是，即使我们的方法可能无法谨慎地评估域，而是利用问题结构留下未开发的区域。最后，我们表明我们的方法在几个合成和现实世界问题中显着优于标准贝叶斯优化方法。
translated by 谷歌翻译
2021-12-06
计算高效的非近视贝叶斯优化（BO）的最新进展提高了传统近视方法的查询效率，如预期的改进，同时仅适度提高计算成本。然而，这些进展在很大程度上是有限的，因为不受约束的优化。对于约束优化，少数现有的非近视博方法需要重量计算。例如，一个现有的非近视约束BO方法[LAM和Willcox，2017]依赖于计算昂贵的不可靠的暴力衍生物的无可靠性衍生物优化蒙特卡罗卷展卷采集功能。使用Reparameterization技巧进行更有效的基于衍生物的优化的方法，如在不受约束的环境中，如样本平均近似和无限扰动分析，不扩展：约束在取样的采集功能表面中引入阻碍其优化的不连续性。此外，我们认为非近视在受限制问题中更为重要，因为违反限制的恐惧将近视方法推动了可行和不可行区域之间的边界，减缓了具有严格约束的最佳解决方案的发现。在本文中，我们提出了一种计算的有效的两步保护受限贝叶斯优化采集功能（2-OPT-C）支持顺序和批处理设置。为了实现快速采集功能优化，我们开发了一种新的基于似然比的非偏见估计，其两步最佳采集函数的梯度不使用Reparameterization技巧。在数值实验中，2-OPT-C通常通过先前的方法通过2倍或更多的查询效率，并且在某些情况下通过10倍或更大。
translated by 谷歌翻译
Bayesian Optimization（BO）是一种优化昂贵对评估黑匣子功能的采样有效的方法。大多数BO方法忽略了评估成本如何在优化域中变化。然而，这些成本可以是高度异质的并且通常提前未知。这发生在许多实际设置中，例如机器学习算法或基于物理的仿真优化的超参数调整。此外，那些确认成本异质性的现有方法并不自然地适应总评估成本的预算限制。这种未知的成本和预算限制的组合引入了勘探开发权衡的新维度，其中关于成本的学习成本本身。现有方法没有原因地理由以原则的方式对此问题的各种权衡，经常导致性能不佳。我们通过证明，每单位成本的预期改进和预期改善，可以使这两个最广泛使用的采购职能在实践中的预期改进和预期的索赔可以是任意劣等的。为了克服现有方法的缺点，我们提出了预算的多步预期改进，是一个非近视收购函数，以概括为异质和未知评估成本的古典预期改进。最后，我们表明我们的采集功能优于各种合成和实际问题的现有方法。
translated by 谷歌翻译
Tumor segmentation in histopathology images is often complicated by its composition of different histological subtypes and class imbalance. Oversampling subtypes with low prevalence features is not a satisfactory solution since it eventually leads to overfitting. We propose to create synthetic images with semantically-conditioned deep generative networks and to combine subtype-balanced synthetic images with the original dataset to achieve better segmentation performance. We show the suitability of Generative Adversarial Networks (GANs) and especially diffusion models to create realistic images based on subtype-conditioning for the use case of HER2-stained histopathology. Additionally, we show the capability of diffusion models to conditionally inpaint HER2 tumor areas with modified subtypes. Combining the original dataset with the same amount of diffusion-generated images increased the tumor Dice score from 0.833 to 0.854 and almost halved the variance between the HER2 subtype recalls. These results create the basis for more reliable automatic HER2 analysis with lower performance variance between individual HER2 subtypes.
translated by 谷歌翻译
操纵器运动学与操纵器中每个链路的运动有关，而无需考虑质量或力。在本文中，这是两部分教程中的第一个，我们使用基本变换序列（ETS）为建模操纵器运动学提供了介绍。然后，我们制定了一阶差异运动学，该运动学导致操纵器雅各布式，这是速度控制和逆运动学的基础。我们描述了基本的古典技术，这些技术在展示一些当代应用之前依赖于操纵器Jacobian。本教程的第二部分提供了第二和高阶差异运动学的配方，介绍了操纵器Hessian，并说明了先进的技术，其中一些提高了第一部分中所示的技术的性能本教程。这些笔记本是用Python代码编写的，并使用python的机器人工具箱，以及Swift Simulator提供算法的示例和实现。虽然不是绝对必要的，但对于最吸引人和信息丰富的经验，我们建议在阅读本文时使用Jupyter笔记本。笔记本和设置说明可以在https://github.com/jhavl/dkt上访问。
translated by 谷歌翻译
尽管深层生成模型在图像处理，自然语言处理和强化学习方面已经成功，但由于其梯度估计过程的较高差异，涉及离散随机变量的培训仍然具有挑战性。蒙特卡洛是大多数降低方法中使用的常见解决方案。但是，这涉及耗时的重采样和多功能评估。我们提出了一个张开的直通（GST）估计器，以减少方差，而不会产生重新采样开销。该估计器的灵感来自直通牙龈 - 软胶的基本属性。我们确定这些特性，并通过消融研究表明它们是必不可少的。实验表明，与在两个离散的深层生成建模任务：MNIST-VAE和LISTOPS上相比，所提出的GST估计器与强基础相比具有更好的性能。
translated by 谷歌翻译
2022-04-04
大型语言模型可以编码有关世界的大量语义知识。这种知识对于旨在采取自然语言表达的高级，时间扩展的指示的机器人可能非常有用。但是，语言模型的一个重大弱点是，它们缺乏现实世界的经验，这使得很难利用它们在给定的体现中进行决策。例如，要求语言模型描述如何清洁溢出物可能会导致合理的叙述，但是它可能不适用于需要在特定环境中执行此任务的特定代理商（例如机器人）。我们建议通过预处理的技能来提供现实世界的基础，这些技能用于限制模型以提出可行且在上下文上适当的自然语言动作。机器人可以充当语言模型的“手和眼睛”，而语言模型可以提供有关任务的高级语义知识。我们展示了如何将低级技能与大语言模型结合在一起，以便语言模型提供有关执行复杂和时间扩展说明的过程的高级知识，而与这些技能相关的价值功能则提供了连接必要的基础了解特定的物理环境。我们在许多现实世界的机器人任务上评估了我们的方法，我们表明了对现实世界接地的需求，并且这种方法能够在移动操纵器上完成长远，抽象的自然语言指令。该项目的网站和视频可以在https://say-can.github.io/上找到。
translated by 谷歌翻译
We study the problem of estimating the fixed point of a contractive operator defined on a separable Banach space. Focusing on a stochastic query model that provides noisy evaluations of the operator, we analyze a variance-reduced stochastic approximation scheme, and establish non-asymptotic bounds for both the operator defect and the estimation error, measured in an arbitrary semi-norm. In contrast to worst-case guarantees, our bounds are instance-dependent, and achieve the local asymptotic minimax risk non-asymptotically. For linear operators, contractivity can be relaxed to multi-step contractivity, so that the theory can be applied to problems like average reward policy evaluation problem in reinforcement learning. We illustrate the theory via applications to stochastic shortest path problems, two-player zero-sum Markov games, as well as policy evaluation and $Q$-learning for tabular Markov decision processes.
translated by 谷歌翻译
我们研究了多人多武装匪徒的信息共享与合作问题。我们提出了第一个算法，实现了这个问题的对数遗憾。我们的结果基于两项创新。首先，我们表明对连续消除策略的简单修改可用于允许玩家在没有碰撞的情况下估计它们的子项货间隙，直到恒定因素。其次，我们利用第一个结果来设计一种成功使用碰撞的小额奖励来协调玩家之间的通信协议，同时保留有意义的实例依赖性对数后悔保证。
translated by 谷歌翻译